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1 0fd Abstract of EP1 345099 

A robot (7) and clamp arm (7') holds the workpiece (6) over the object (1) and 
cameras (3, 3', 3") establish the coordinates of reference object and workpiece 
and compares these to those of workpieces delivered from a store (9) to 
accurately apply them. 
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(54) Verfahren zur Bestimmung der Lage eines Objektes und eines Werkstucks im Raum zur 
automatischen Montage des Werkstiicks am Objekt 



(57) Die Erfindung betrifft ein Verfahren zur Bestim- 
mung der Lage eines Objektes (1) und Werkstucks (6) 
im Raum zur Montage des Werkstucks (6) am Objekt 
(1 ) mittels eines Roboters (7) mit Greifer (7 1 ), mit einem 
Bildverarbeitungssystems mit Sensoren (3,3', 3"), wie 
Kameras, und Rechner. Roboter(7), Greifer (7') und Ka- 
meras (3,3', 3") werden im Weltkoordinatensystem (W) 
vermessen und die Koordinaten im Bildverarbeitungs- 
system gespeichert. Die Lage eines ersten Objektes (1), 
Kalibrierobjekt, wird in einer Soll-Montageposition des 
Objektes (1) ebenfalls im Weltkoordinatensystem (W) 
vermessen und die Koordinaten im Bildverarbeitungs- 
system gespeichert. Ein erstes Werkstuck (6), Kalibrier- 
werkstuck. wird mittels des Greifers (7') in eine Vorhal- 
teposition gefahren, die einen kleinen Abstand von der 
Soll-Montageposition zum Kalibrierobjekt besitzt und 
ebenfalls im Weltkoordinatensystem (W) vermessen 
und die Koordinaten gespeichert. Die Kameras (3,3\3") 
sind dergestalt im Weltkoordinatensystem (W) angeord- 
net und im Weltkoordinatensystem eingemessen, dass 
sie gleichzeitig sowohl die Soll-Montageposition des 
Kalibrierobjektes (1) als auch die Soll-Vorhalteposition 
des Kalibrierwerkstucks (6) erfassen, so dass das Bild- 
verarbeitungssystem die Abweichung zwischen der 
Soll-Vorhalte- und der Soll-Montageposition berechnen 
kann. Nun wird ein Objekt (1) "ungenau" in eine Ist-Mon- 
tageposition des Objektes (1) verbracht, die von der 
Soll-Montageposition des Kalibrierobjektes abweichen 
kann; der Greifer (7') entnimmt aus einem Lager (9) ein 



Werkstuck (6) "ungenau" auf und verfahrt es in eine Ist- 
Vorhalteposition, welche von der Soll-Vorhalteposition 
des Kalibrierwerkstucks abweichen kann, wobei die Ka- 
meras (3, 3', 3") das Werkstuck (6) in der Ist-Vorhaltepo- 
sition und gleichzeitig das Objekt (1) in der Ist-Monta- 
geposition erfassen. Das Bildverarbeitungssystem be- 
stimmt die angefahrenen Ist-Positionen von Werkstuck 
(6) und Objekt (1) und errechnet die notwendige Rela- 
tivbewegung zwischen Werkstuck (6) und Objekt (1) 
sechs-dimensional und gibt dem Greifer (7 1 ) des Robo- 
ters (7) diese Koordinaten der Ist-Montageposition vor 
urn welche der Greifer (7 1 ) zur genauen Plazierung des 
Werkstucks (6) am Objekt (1) translatorisch und rotato- 
risch zu verfahren ist. 
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Beschreibung 

Technisches Gebiet: 

5 [0001] Die Erfindung betrifft ein Verfahren zur Bestimmung der Lage eines Objektes und eines Werkstucks im Raum 
zur automatischen Montage bzw. Einfugen des Werkstucks am Objekt mittels eines Roboters mit Greifer und unter 
Verwendung eines digitalen Bildverarbeitungssystems mit wenigstens einer Kamera und einem Rechner gemaB dem 
Oberbegriff des Anspruchs 1 . 

10 Stand der Tech nik: 

[0002] Die schnelle und beruhrungslose 3D-Vermessung eines dreidimensionalen Korpers besitzt eine Schlussel- 
funktion auf dem Weg zur hoheren Automatisierung und zur vollstandigen Qualitatsuberwachung in vielen Fertigungs- 
prozessen, wobei die SD-Positionserfassung die genaue Kenntnis der Position von Objekten im Raum und deren Lage 

15 relativ zueinander liefert. Besonders in der industriellen Produktion kommt der schnellen und beruhrungslosen 3D-Po- 
sitions- und 3D-Formerfassung eine groBe Bedeutung zu, so z. B. fur die MaBhaltigkeitskontrolle, die Vollstandigkeits- 
prufung, Robotervision in der automatischen Montage, Priifungvon Oberflachenstrukturen, Uberwachung von Sicher- 
heitszonen, 3D-Objekterkennung und Navigation im Raum, das Abdichten von Fugen oder Nahten, das Sealing, oder 
das Einsetzen von Scheiben oderanderen Bauteilenan Karossen oder Werkstucken durch Industrieroboter. Die3D-For- 

20 merfassung liefert die absoluten GeometriemaBe von Objekten, die unabhangig vom Oberflachenzustand, von der 
Entfernung, Drehung und Beleuchtung sind, d. h. sie sind rotations-, verschiebungs- und beleuchtungsinvariant. 
[0003] Hierzu ist die digitale Bildverarbeitung Voraussetzung und heute Stand derTechnik, wobei kalibrierte Kame- 
ras, was Grundvoraussetzung ist, das zu bearbeitende Objekt zu erfassen. Methoden und Verfahren der Musterer- 
kennung. der klassischen Bildverarbeitung und der Photogrammetrie werden mit dem Ziel eingesetzt, die Positionen 

25 bestimmter Objekte und deren Lage zueinander zu erfassen. Aus den sich ergebenden Pixeldaten bestimmter Objekt- 
merkmale wird hiernach die 3-D-Werkstuckpose in einem definierten Koordinatensystem berechnet. 
[0004] Durch die DE 1 00 1 6 963 A1 ist ein Verfahren zur Bestimmung der Position eines Werkstucks und der Position 
von Merkmalen des Werkstucks im 3D-Raum unter Verwendung von mindestens zwei elektronischen Kameras und 
digitaler Bildverarbeitung bekannt geworden, wobei die Kameras auf ein gemeinsames Weltkoordinatensystem kali- 

30 briert werden und anschlieBend das Werkstuck in den Raum zwischen den Kameras verbracht wird. Zur Erstellung 
des gemeinsames We It ko o rd in ate n systems werden die Kameras einzeln als Lochkameramodelle behandelt, und es 
erfolgt eine direkte Vermessung der Position und der Orientierung der Lichteintrittsoffnung einer jeden Kamera, indem 
die Position und die Orientierung der Lichteintrittsoffnung einer jeden Kamera in ihrem passiven Zustand mit einem 
separaten MeBsystem vermessen wird, welches zur direkten Antastung der Lichteintrittsoffnung imstande ist und wel- 

35 ches die Position und die Orientierung der Lichteintrittsoffnung im Weltkoordinatensystem liefert und das in den Raum 
zwischen den Kameras verbrachte Werkstuck durch die nunmehr aktiven Kameras optisch abgebildet und die Video- 
bilder mit einem Rechner zum Auffinden von Merkmalen des Werkstucks ausgewertet werden. Aus der Kenntnis der 
Position der Kameras bezuglich des Weltkoordinatensystems, der Videobilder und der Koordinaten der Merkmale des 
Werkstucks in einem Koordinatensystem des Werkstucks durch einen Rechner nach der Methode des Bundelaus- 

40 gleichs die Position des Werkstucks in Weltkoordinaten sowie die Position der Merkmale des Werkstucks in Weltko- 
ordinaten errechnet werden. 

[0005] Der Einsatz von Robotern ist in der Regel daran gebunden, daf3 die Position des zu handhabenden Objektes 
in engen Grenzen definiert ist. In vielen Produktionsprozessen kann dies entweder nicht sichergestellt werden oder 
muf3 durch eine aufwendige, teure und gleichzeitig inflexible Positioniereinheit erreicht werden. Letzteres steht dem 
45 Wunsch nach flexiblen ProduktionsstraBen entgegen. So werden z. B. Automobilkarossen in bestimmten Abschnitten 
der Produktion hangend an einem Transportsystem bewegt, das eine Karosse lediglich mit einer Genauigkeit von +/- 
30 mm positionieren kann. Eine Bearbeitung durch einen Roboter wird damit unmoglich, wenn fur den Arbeitsvorgang 
selbst eine hohere Genauigkeit gefordert wird. 

[0006] Wenn ein Werkstuck zu einem Objekt hinzugefugt oder in das Objekt eingebaut werden soil, so kommt es zu 
50 sogenannten Fugefehlern, weil sowohl das Objekt als auch das zu fugende Werkstuck ungenau positioniert sind. Auf- 
grund dieser ungenauen Positionierung der Werkstuckes und des Objektes, in welches das Werkstuck mittels eines 
Roboters eingefugt werden soil, sowie derToleranz des Roboters kommt es zu erheblichen Fugefehlern, die sich aus 
der Summe dieser Einzelfehler berechnen. Denn die Position des Roboters bzw. des Roboterarmes kann entweder 
uber die Zeit oder durch Versehen verandert worden sein oder das Werkstuck wird nicht in genau der gleichen Position 
55 vom Roboterarm zum Verbau aufgenommen. 

[0007] Bisherige Losungen gehen des Weiteren von der vereinfachenden Annahme aus, daB das Werkstuck posi- 
tionsgenau von Roboter gegriffen wird und vom Greifort bis zur Verbauposition auBerdem keine weiteren Fehler mehr 
auftreten, wie sie zum Beispiel durch Sauggreifer, Roboterfehler und Objekttoleranzen bedingt sind. Es wird dann 
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lediglich die Raumlage des Objektes, in welches das Werkstuck einzufugen ist, bestimmt. In der Praxis ist dies jedoch 
nicht erreichbar, zudem das Objekt neben Positionsfehlern selbst in sich Fehler birgt, zum Beispiel Rohbautoleranzen, 
was eben zu den genannten Fugefehlern fuhrt. 

[0008] Als weiterer Stand derTechnik hierzu ist noch R. Gerdes, R. Otterbach, R. Kammuller: Kalibrierung eines 
5 digitalen Bildverarbeitungssystems mit CCD-Kamera- Teil I und Teil II, in: tm Technisches Messen 60, 1993, 6, S. 
255-261 (Teil I) und 60, 1993, 7/8, S. 283-288 (Teil II) zu nennen. 

Technische Aufgabe: 

10 [0009] Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung der Lage eines Objektes und eines 
Werkstiicks im Raum zur automatischen Montage des Werkstucks am Objekt zu schaffen, mittels welchem ein ungenau 
positioniertes Werkstuck mit einem Roboter gegriffen und positionsgenau in ein ebenfalls ungenau positioniertes Objekt 
eingefugt werden soil. 

15 Offenbarung der Erfindung sowie deren Vorteile: 

[0010] Diese Aufgabe wird durch ein Verfahren zur Bestimmung der Lage eines Objektes und eines Werkstucks im 
Raum zur automatischen Montage des Werkstucks am Objekt mittels eines Roboters mit Greifer und unter Verwendung 
eines digitalen Bildverarbeitungssystems mit wenigstens zwei Sensoren, wie optische Sensoren, insbesondere Ka- 
20 meras, wie CCD-Kameras, und einem Rechner gelost, bei welchem der Roboter mit Greifer und die Sensoren des 
Bildverarbeitungssystems in ihrer Lage im Weltkoordinatensystem W vermessen und diese Koordinaten dem Bildver- 
arbeitungssystem eingegeben und gespeichert werden, 

die Lage eines ersten Objektes, Kalibrierobjekt, wird in einer Soll-Montageposition des Objektes ebenfalls im Weltko- 
ordinatensystem W vermessen und die Koordinaten der Soll-Montageposition ebenfalls im Bildverarbeitungssystem 
25 gespeichert, ein erstes Werkstuck, Kalibrierwerkstuck, wird mittels des Greifers des Roboters in eine Soll-Vorhaltepo- 
sition gefahren, welche einen kleinen Abstand von der Soll-Montageposition zum Kalibrierobjekt besitzt und ebenfalls 
im Weltkoordinatensystem W vermessen und die Koordinaten der Soll-Vorhalteposition im Bildverarbeitungssystem 
gespeichert, 

die Sensoren sind dergestalt im Weltkoordinatensystem W angeordnet und in dieser Position im Weltkoordinatensy- 
30 stem eingemessen, dass sie gleichzeitig sowohl die Soll-Montageposition des Kalibrierobjektes als auch die Soll-Vor- 
halteposition des Kalibrierwerkstucks erfassen, so dass das Bildverarbeitungssystem die Abweichung zwischen der 
Soll-Vorhalteposition und der Soll-Montageposition berechnen kann, anschlieBend wird ein nachfolgendes Objekt "un- 
genau" in eine Ist-Montage- bzw. Fugeposition des Objektes verbracht, welche von der Soll-Montageposition des Ka- 
librierobjektes abweichen kann, 
35 der Greifer des Roboters entnimmt aus einem Lager ein nachfolgendes Werkstuck "ungenau" auf und verfahrt es in 
eine Ist-Vorhalteposition, welche von der Soll-Vorhalteposition des Kalibrierwerkstucks abweichen kann, wobei die 
Sensoren das Werkstuck in der Ist-Vorhalteposition und gleichzeitig das Objekt in der Ist-Montageposition erfassen, 
nunmehr bestimmt das Bildverarbeitungssystem - in einem oder mehreren Bildern der Sensoren - die angefahrene 
Ist-Position des Werkstucks sowie die angefahrene Ist-Position des Objektes, und errechnet die notwendige Relativ- 
40 bewegung zwischen Werkstuck und Objekt sechs-dimensional und gibt dem Greifer des Roboters diese Koordinaten 
der Ist-Montageposition vor, urn welche der Greifer des Roboters zur genauen Plazierung des Werkstucks am Objekt 
translatorisch und rotatorisch zu verfahren ist. 

[0011] In einer weiteren Ausgestaltung des Verfahrens halt der Roboter das Werkstuck in der Ist-Vorhalteposition 
zur Durchfuhrung des Vermessungsvorgangs kurz an. In 
45 einer weiteren Ausgestaltung des Verfahren wird dasselbe mit einem einzigen Sensor, wie CCD-Kamera. durchgefuhrt, 
welcher hinsichtlich der Kalibrierung und Verfahrbarkeit mehrfach positionierbar ist, so dass auch nur mit einem ein- 
zigen Sensor, zum Beispiel CCD-Kamera, verfahrensgemafB gearbeitet werden kann. 

[0012] In einer weiteren Ausgestaltung des Verfahrens sind die Sensoren, wie CCD-Kameras, am Roboter selbst 
verteilt angeordnet. Oder die Sensoren, wie CCD-Kameras sind zum Teil am Roboter selbst und zum Teil ortsfest 
50 verteilt angeordnet. 

[0013] In weiterer Ausgestaltung des Verfahrens werden am Objekt und/oder am Werkstuck innerhalb der Ist-Mon- 
tage oder Fugeposition bzw. der Ist-Vorhalteposition signifikante Merkmale, wie Konturen, Ecken, Aussparungen oder 
Bohrungen, angetastet. Dadurch ist eine genaue Erfassung von Objekten moglich, welche, wie Scheiben, transparent 
sind. In weiterer Ausgestaltung des Verfahren werden die signifikanten Merkmale durch Beleuchtung kenntlich ge- 
55 macht. Dabei kann als Beleuchtung Infrarotlicht oder Laserlicht oder Streifenlichtzur Anwendung gelangen. In weiterer 
Ausgestaltung des Verfahren werden Laserlichtlinien verwendet. 

[0014] Der hervorstechende Vorteil des erfindungsgemalBen Verfahrens besteht darin, dass die Greifposition des 
Roboters vermessen wird und in die Auswertung eingeht. Das ist ein groBer Vorteil, da nicht immer davon ausgegangen 
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werden kann, dass einerseits das Werkstuck innerhalb kleiner, vorgegebener Grenzen reproduzierbar aufgenommen 
worden ist, andererseits auch nicht davon ausgegangen werden darf, dass sich das Objekt, in oder an welches das 
Werkstuck zu montieren ist, sich innerhalb kleiner, vorgegebener Grenzen reproduzierbar befindet. In vorteilhafter 
Weise werden somit durch das Verfahren in automatischer Montage ein ungenau positioniertes Werkstuck mit einem 
5 Roboter, welcher ebenfalls Verfahrfehler aufweisen kann, gegriffen und positionsgenau in ein ebenfalls ungenau po- 
sitioniertes Objekt ohne Verfugefehler eingefugt. 

[0015] Durch die Erfindung werden deshalb vorteilhaft die folgenden Fehler kompensiert: 

Fehler beim Greifen des Werkstuckes 
10 - Fehler in der Positionierung des Objektes 

Fehler in den Toleranzen des Werkstuckes und des Objektes 

Roboterfehler, sie spielen praktisch keine Rolle mehr, weil vom Roboter nur noch ein sehr kurzer Weg gefahren 
werden muss, namlich der fur jeden einzelnen Fugevorgang berechnete Weg, welchen der Roboter zurucklegen 
muss, um das Werkstuck exakt im oder am Objekt zu fiigen. 

15 

[0016] Die Steuerung des Roboters gibt die Position bzw. die Koordinaten des Roboters an das Bildverarbeitungs- 
system weiter zur Berechnung der durch den Roboter anzufahrenden Positionen; ebenso sind die Sensoren, wie Di- 
gitalkameras, im Weltkoordinatensystem vermessen bzw. kalibriert. 

20 Beispiele der Erfindung sind an Hand einer Zeichnung beschrieben, in der zeigen: 

[0017] 

Figur 1 eine perspektivische schematische Darstellung eines Roboters mit Greifer, welcher eine Scheibe zum 
25 Einbau in eine Karosse halt und 

Figur 2 eine schematische Zeichnung der durchzufuhrenden Vermessungsschritte der am Verfahren beteiligten 
Komponenten. 

Bevorzugte Ausfuhrungsform der Erfindung: 

30 

[0018] Das nachfolgend beschriebene Beispiel ist der automatisierten Fahrzeugmontage entnommen. Karossen 1 
werden nacheinander auf einer Transportschiene 2 in eine Montage- oder Fugeposition verfahren, wo mittels eines 
Roboters 7 mit einem Greifer 7' eine vom Greifer 7' getragene Scheibe 6 in eine Karossenaussparung 5 der jeweiligen 
Karosse 1 eingesetzt wird. Der Roboter 7 ist auf einer Fahrschiene 8 verfahrbar angeordnet und kann zwischen einem 
35 Magazin 9, aus welchem die Scheiben 6 nacheinander entnommen werden, und der Karosse 1 hin- und herfahren 
bzw. schwenken oder beides. 

[0019] Zur Aufnahme der Scheiben 6 besitzt der Roboter 7 an seinem Greifer 7' eine Greifplatte 10, an welcher 
Saugnapfe 1 1 zum Ergreifen und Loslassen der Scheiben 6 angeordnet sind. Nachdem der Roboter 7 aus dem Magazin 
9 mittels der Greifplatte 10 eine Scheibe 6 aufgenommen hat, fahrt er die Scheibe 6 in eine Vorhalteposition 4 der 

40 Scheibe 6 kurz vor der Karosse 1 . 

[0020] Hier nun erblicken, beispielsweise, drei optische Sensoren, wie Digitalkameras 3, 3', 3", welche Teil eines 
Bildverarbeitungssystems mit einem nicht gezeigten Rechnersind, aus drei verschiedenen Richtungen drei verschie- 
dene Vorhaltebereiche 12, 13, 14, gegeben durch die Vorhalteposition 4, wobei die Sensoren, wie Digitalkameras 3, 
3', 3" gleichzeitig sowohl einen - relativ kleinen - Bereich der Fuge- bzw. Einbauposition der Karossenaussparung 5 

45 der Karosse 1 als auch einen - ebenfalls relativ kleinen - Bereich der Vorhaltepostion 4 der Scheibe 6 erfassen. Mon- 
tage- oder Fiigungsort und Werkstuck werden somit gleichzeitig von den Sensoren, zum Beispiel Digitalkameras 3, 
3', 3", erf asst. 

[0021] Die optischen Sensoren 3, 3', 3", zum Beispiel Digitalkameras 3, 3' ; 3", sind entweder ortsfest und kalibriert 
oder sie sind auf dem Roboter montiert und kalibriert, wobei es auch moglich ist, nur einen oder zwei Sensoren, wie 
50 Digitalkameras 3, 3', 3", auf dem Roboter 7, die dritte ortsfest kalibriert, zu montieren. Der Roboter 7 kann die Scheibe 
6 in der Vorhalteposition 4 kurzzeitig anhalten, so dass die Sensoren 3, 3', 3", zum Beispiel Digitalkameras 3, 3', 3", 
eindeutig die Koordinaten der Scheibe 6 und der Karossenaussparung 5 ermitteln konnen. 

[0022] Nunmehrberechnet das Bildverarbeitungssystem anhand der von den drei Digitalkameras 3, 3', 3" ermittelten 
Koordinaten sowie den vorher ermittelten Soll-Koordinaten der sogenannten Kalibrierkarosse und des sogenannten 
55 Kalibrierwerkstucks den Ist-Vektor, um welchen der Greifer T bzw. der Roboter 7 in den drei Raumkoordinaten zu 
verfahren ist, um den Ist-Vektor zu fahren. In der Figur 1 ist zur Veranschaulichung hierzu zweidimensional ein 
Versatz "s" zwischen Scheibe 6 und Karossenaussparung 5 eingezeichnet. Der Versatz "s" ist in Realitat sechs-di- 
mensional, namlich drei Positionen und drei Orientierungen. 
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[0023] Figur 2 zeigt in schematischer Wiedergabe eine Zeichnung, welche die durchzufuhrenden Vermessungs- 
schritte der am Verfahren beteiligten Komponenten wiedergibt. Diese Abbildung zeigt einen Transformationsgraphen, 
welcher die Beziehungen zwischen den einzelnen Koo rd in ate n system en der Anwendung beschreibt. Die Koordina- 
tensysteme sind jeweils mit den einzelnen Komponenten, Objekte, der Anwendung verbunden. 
5 [0024] In Figur 2 bedeutet die Abkiirzung "VMT" Bildverarbeitungssystem mit den Komponenten optische Sensoren 
in Form von Digital kameras 3, 3\ 3" sowie Rechner, welcher nicht gezeigt ist. Die Bezeichnung "RobCon" bedeutet 
Roboter-Controller, also die Robotersteuerung, was heif3t, dass die benotigten Daten von der jeweiligen Robotersteue- 
rung zur Verfugung gestellt werden. 

10 Des Weiteren gelten in Figur 2 die folgenden Benennungen: 





[0025] 






W 


Weltkoordinatensystem, Bezugskoordinatensystem fiirdie gesamte Roboterzelle bzw. Applikation 


15 


RB 


Roboter-Basiskoordinatensystem, Roboter 7 




VMT 


Bezugssystem Bildverarbeitungssystem 




K (allg) 


Karossenkoordinatensystem 




K 0 


Karossenreferenzposition (Objekt-Kalibrierposition) 




Ki 


Position der aktuellen i-ten Karosse 


20 


G (allg) 


Robotergreiferkoordinatensystem 




G 0 


Greifer-Einbauposition an Referenzkarosse fur Referenzscheibe (Position des Greifers 7' des Roboters 7 






in Soll-Vorhalteposition des Werkstiicks 6) 






Greifer in Vorhalteposition, konstant fur alle Scheiben, relativ zu RB 






Greifer in Einbauposition an der aktuellen i-ten Karosse fur die aktuelle i-te Scheibe 


25 


S (allg) 


Scheibenkoordninatensystem 




So 


Referenzscheibe in Einbauposition an Referenzkarosse (Werkstuck-Kalibrierposition) 




S 0i 


Aktuelle i-t Scheibe in Einbauposition an aktueller i-ter Karosse 




Si 


Referenzscheibe in Vorhalteposition, relativ zu G 1 




Si 


Aktuelle i-te Scheibe in Vorhaltepostion, relativ zu G 1 


30 


RobCon 


Roboter-Controller 



[0026] Ein Bildverarbeitungssystem als Sensorsystem, welches entwederauf einem Greifer 7' eines Roboters 7 oder 
stationar, namlich auBerhalb des Roboters 7, installiert ist, berechnet die Raumlage des Werkstucks 6 und die Raum- 
lage des Objektes 1 , in welches das Werkstuck 6 gefugt werden soil. Aus diesen beiden Werten wird dann der Ist- 

35 Vektor fur den Roboter 7 berechnet. Der Ist-Vektor gibt an, welchen Weg der Roboterarm 7 zurucklegen muss, urn 
das Werkstuck 6 exakt im Objekt 1 zu fiigen; dabei werden auch Ungenauigkeiten des zu fugenden Werkstucks 6, wie 
auch des Objektes 1 groRtenteils durch die dem Verfahren innewohnende Mathematik kompensiert. 
[0027] Zunachst wird dem Roboter manuell uber seinen Roboter-Controller gelehrt, das Werkstuck 6 in die richtige 
Position, die sogenannte Soll-Einbauposition, an der ersten Karosse, dem Kalibrierobjekt, zu bringen. Diese Position 

40 der Karosserie in der Soll-Montageposition oder ersten Phase wird hier K 0 als Karosserie-Referenzposition bezeichnet. 
Dem Roboter werden die benotigten Daten von der Robotersteuerung, Roboter-Controller zur Verfugung gestellt. 
[0028] Mit Hilfe eines Bildverarbeitungssystems, dem wenigstens zwei, vorzugsweise drei kalibrierte Sensoren, zum 
Beispiel kalibrierte optische Sensoren, wie Digitalkameras 3, 3', 3", sowie ein nicht gezeigter Rechner angehoren, 
werden danach alle Abweichungen der aktuellen Position der aktuellen Karosse 1 mit diesem Referenzrahmen bzw. 

45 Kalibrierobjekt Kq verglichen, wobei die aktuelle Position der aktuellen Karosse 1 mit Kj bezeichnet ist. 

[0029] Der Roboter 7 nimmt dann das erste Werkstuck, Kalibrierwerkstuck, mit Hilfe des Greifers 7' auf. Der erste 
Schritt ist nun, den Roboter mit Hilfe seines Roboter-Controllers in eine Position zu kommandieren, in der das Bildver- 
arbeitungssystem, namlich die drei Kameras 3, 3', 3", gleichzeitig die Referenzpunkte bzw. Referenzbereiche 12, 13, 
14 sowohl des Werkstucks als auch der Karosse sehen kann. Dieses Bild des Roboterarms 7' in dieser Position wird 

50 hier mit Vorhalteposition G-| bezeichnet; die entsprechende Scheibenposition der Scheibe sei S-,. Diese Position ist 
die Referenzposition, bzw. Soll-Vorhalteposition fur die Scheibe. 

[0030] In einem weiteren Schritt wird nun manuell die Scheibe in die richtige Position an der Karosserie gebracht; 
diese Einbauposition sei G 0 fur den Roboterarm und S 0 fur die entsprechende Position der Scheibe; dabei verfahrt 
der Roboter einen Soll-Vektor. 

55 [0031] Nunmehr wird in einem weiteren Schritt der Roboterarm T bzw. der Roboter 7 fur jede der weiteren aufge- 
nommenen Scheiben 6 in eine Position gebracht, die der von G-, in etwa entspricht, da diese Position mit Fehlern 
behaftet sein kann. Das eigentliche Bild dieser Position wird deshalb etwas vom Referenzbild der Scheibe, S-| , abwei- 
chen. Mit Hilfe des Bildverarbeitungssystems "VMT" werden diese Abweichungen vom Referenzbild zum aktuellen 
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Bild gemessen und in Koordinaten ausgegeben. 

[0032] In einem weiteren Schritt werden nun die Transformationen von G-| zu Gj der Steuerung des Roboterarms 7' 
zugefiihrt. Gj bezeichnet hier die Einbauposition in die aktuelle Karosse 1 fur die aktuelle Scheibe 6. 
[0033] Urn diese Transformationen durchfuhren zu konnen, benotigt man zwei Abweichungen: die der aktuellen 
5 Position der Karosse und die der Scheibe wie diese mit dem Bildverarbeitungssystem "VMT" aufgenommen worden 
sind sowie diefolgenden Grunddaten: 

Die Position und Orientierung der Karossen-Referenzposition Kq relativ zum We Itko ord in ate n system 
Die Position und Orientierung der Referenzposition bzw. Soll-Vorhalteposition der Scheibe S 1 relativ zum Weltko- 
10 ordninatensystem 

Die Position und Orientierung des Roboters relativ zum Weltkoordinatensystem. 

[0034] Diese mit Grunddaten bezeichneten Transformationen werden vorteilhaft mit einem MeBsystem der Firma 
LEICA durchgefuhrt. 
15 [0035] Des Weiteren wird benotigt: 

Die Position und Orientierung des Robotergreifers G 0 relativ zum Roboter. 

Diese letztgenannte Transformation - Position und Orientierung des Robotergreifers G 0 relativ zum Roboter- wird 
vom Roboter-Controller erhalten. 

20 

[0036] Das Verfahren besteht aus zwei Grundschritten oder Modi. Im ersten Modus, Kalibriermodus, werden die 
folgenden Schritte durchgefuhrt, wobei das Meftsystem der Firma LEICA nur fur diesen Modus des Kalibrierens be- 
notigt wird: 

25 - Schritt 1 : Vermessung des Roboters (Roboter-Basiskoordinatensystem) und des VMT-Systems (Koordinaten des 
Bezugssystems Bildverarbeitung) mittels LEICA 

Schritt 2: Bewegen einer Karosse in die Referenzposition und Vermessen mittels LEICA (Karossenkoordinaten- 
system) 

Schritt 3: Verfahren des Roboters mit der ersten durch den Greifer aufgenommenen Scheibe (Referenzscheibe) 
30 in die Referenzposition der Scheibe, Vermessen der Scheibenposition mittels LEICA und Ermitteln der Roboter- 

greiferposition mittels des Roboter-Controllers 

Schritt 4: Null- bzw. Erst- Vermessung der Karosse und der Scheibe mittels des VMT Bildverarbeitungssystems 
(im VMT-System) 

Schritt 5: Verfahren des Roboters mit der ersten Scheibe (Referenzscheibe) in die Einbauposition der ersten Ka- 
35 rosse und Ermitteln der Robotergreiferposition mittels des Roboter-Controllers (im Roboter-Basiskoordinatensy- 

stem) 

Im zweiten Modus werden die folgenden Schritte automatisch durchlaufen: 
40 [0037] 

Schritt 1 : Anhalten der Karosse in der Montageposition 

Schritt 2: Aufnehmen der Scheibe mittels des Robotergreifers und Verfahren des Roboters in die Greifer-Vorhal- 
teposition G-| 

45 - Schritt 3: Messung der Abweichung der Karosse und der Scheibe von den zugehorigen Referenzpositionen unter 
Benutzung des VMT Bildverarbeitungssystems 

Schritt 4: Berechnung der Transformation von G 1 - Greifer in Vorhalteposition - zu Gi - Greifer in Einbauposition 
an der aktuellen i-ten Karosse fur die aktuelle i-te Scheibe - und Ubermitteln des Ergebnisses an den Roboter 
bzw. den Roboter-Controller 

50 - Schritt 5: durch den Roboter-Controller nunmehr Verfahren des Roboters entsprechend der so berechneten Trans- 
formation, so dass sich die aktuelle Scheibe S 0j , das ist die aktuelle i-te Scheibe, in Einbauposition an der aktuellen 
Karosse, das ist die i-te Karosse, befindet. 

[0038] Im Nachfolgenden sei des Weiteren eine mathematische Herleitung des erf indungsgemaGen Verfahrens wie- 
55 dergegeben: 

Schritt 1 : es ist die Position aufzufinden, in welche die Scheibe relativ zur kalibrierten Position S 0 der Scheibe, 
das ist die Soll-Vorhalteposition, zu verfahren ist: 
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So rp / Kq rp\ ^ Kq rp K. 0 rp 

5 

wobei T= Tgilt, weil die Scheibe fur alle Karossen in der gleichen relativen Position gefugt werden muf3. 
s o 's 0 

Schritt 2: es ist die relative Position zwischen dem Roboter bzw. dem Greifer des Roboters und der Vorhalteposition 
10 fur die erste Referenz-Scheibe aufzufinden: 

0 s , t = (^ b t.-t)- 1 .-t 

wobei T = T gilt, weil die relative Position zwischen der Scheibe und dem Greifer des Roboters dieselbe bzw. 
identisch in oSc Vorhalteposition G 1 und der Einbauposition G 0 ist. 

Schritt 3: es ist die relative Position zwischen der Vorhalteposition der Referenz-Scheiben S A und der Enbaupo- 
20 sition S 0 der Referenzscheibe an der Referenzkarosse. 

S s , 0 T = ( G s 'T)" I .°'T G s 'T 

25 

Schritt 4: es ist die relative Position zwischen der Karosse K 0 und der Scheibe S 0 in ihrer richtigen Fugelage zu 
finden, die Referenzposition: 

30 K o t = / w x\ 1 . W T* RB T - Gl T - Sl T 

S Q \K 0 J RB Gj G 0 Sj 

Schritt 5: es ist die Transformation von Greifer in Vorhalteposition G 1 zu Greifer in Einbauposition Gj aufzusuchen: 

35 _j _j 

G i T_ G i T / s i . s iT, s oT./ G i T\ 

G^-S, 1 [S^j So 1 » S 0i A V St A J 

wobei T=: T qilt, weil die relative Position zwischen der Scheibe und dem Greifer des Roboters in ieder 

S o 

40 GreiferfJositiOTOifur ein und dieselbe Scheibe identisch ist.. Die vorstehende letzte Gleichung kann dann wie folgt 

geschrieben werden: 

Gi m G,m ( Wrp RB rp\ _1 W rp // W W "Ji RB rpG[ m / W rp RB Tp\ 1 W rp\ ' K 0 rp(VMT) 

45 G, 1 ~G 0 A "\RB A 'G, 1 j * S, 1 * U K 0 1 ) RB 1 ' G : 1 G 0 1 \ RB 1 * G, 1 ) * S, 1 J * K { 1 

•( k w t)~>t.-t2 0 t • ( Xt-» ;t)"> t • (( Z^y-lT-\T^y 

50 

Kq Kj 

wobei T= Tgilt, weil die Scheibe in der gleichen relativen Position in die Karosse gefugt werden muB fur alle 
Karoslen. Soi 

[0039] Somit wird mit den gleichen Kameras 3, 3', 3", in einem oder mehreren Bildern die Position des Werkstucks, 
55 zum Beispiel eine Scheibe im Greifer eines Roboters, und die Position einer Karosse bestimmt, anschlieRend wird die 
Relativbewegung ausgerechnet und dem Roboter eine Fiigeposition vorgegeben unter Berucksichtigung der Position 
der Scheibe im Greifer, Messung 1 , und der Position der Karosse, Messung 2. 

[0040] AnschlieBend wird der Roboter urn den errechneten Ist-Vektor, welcher die tatsachliche Ist-Positionen von 
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Karosse und Scheibe berucksichtigt, um die drei Raumkoordinaten verfahren. 

[0041] Der Unterschied zu den bisherigen Verfahren liegt darin, das die Greifposition des Roboters mit gemessen 
wird und in die Auswertung eingeht. Das ist erheblich gunstiger und der entscheidende Vorteil, weil nicht immer davon 
ausgegangen werden kann, dass weder die aktuelle Scheibe innerhalb kleiner Grenzen vom Roboter reproduzierbar 
5 aufgenommen wurde noch die aktuelle Karosse innerhalb kleiner Grenzen an den Montage- oder Fugeort verfahren 
worden ist. 

[0042] Die Erfindung betrifft somit ein Verfahren zur Bestimmung der Lage eines Objektes 1 und Werkstucks 6 im 
Raum zur Montage des Werkstucks 6 am Objekt 1 mittels eines Roboters 7 mit Greifer 7' unter Verwendung eines 
Bildverarbeitungssystems mit Sensoren, insbesondere Kameras, wie CCD-Kameras 3,3' ,3" und Rechner. Roboter 7. 

10 Greifer T und Kameras 3, 3', 3" werden im We Itko ord in ate n system W vermessen und die Koordinaten im Bildverarbei- 
tungssystem gespeichert. Die Lage eines ersten Objektes 1, Kalibrierobjekt, wird in einer Soll-Montageposition des 
Objektes 1 ebenfalls im We It koordinaten system W vermessen und die Koordinaten im Bildverarbeitungssystem ge- 
speichert. Ein erstes Werkstuck 6, Kalibrierwerkstuck, wird mittels des Greifers 7' in eine Vorhalteposition gefahren, 
die einen kleinen Abstand von der Soll-Montageposition zum Kalibrierobjekt besitzt und ebenfalls im Weltkoordinaten- 

15 system W vermessen und die Koordinaten gespeichert. Die Kameras 3, 3', 3" sind dergestalt im Weltkoordinatensystem 
W angeordnet und im Weltkoordinatensystem eingemessen, dass sie gleichzeitig sowohl die Soll-Montageposition 
des Kalibrierobjektes 1 als auch die Soll-Vorhalteposition des Kalibrierwerkstucks 6 erfassen, so dass das Bildverar- 
beitungssystem die Abweichung zwischen der Soll-Vorhalte- und der Soll-Montageposition berechnen kann. Nun wird 
ein Objekt 1 "ungenau" in eine Ist-Montageposition des Objektes 1 verbracht, die von der Soll-Montageposition des 

20 Kalibrierobjektes abweichen kann; der Greifer 7' entnimmt aus einem Lager 9 ein nachfolgendes Werkstuck 6 
"ungenau" auf und verfahrt es in eine Ist-Vorhalteposition, welche von der Soll-Vorhalteposition des Kalibrierwerkstucks 
abweichen kann, wobei die Kameras 3, 3', 3" das Werkstuck 6 in der Ist-Vorhalteposition und gleichzeitig das Objekt 1 
in der Ist-Montageposition erfassen. Das Bildverarbeitungssystem bestimmt die angefahrenen Ist-Positionen des 
Werkstucks 6 sowie des Objektes 1 und errechnet die notwendige Relativbewegung zwischen Werkstuck 6 und Objekt 

25 1 sechs-dimensional und gibt dem Greifer T des Roboters 7 diese Koordinaten der Ist-Montageposition vor, um welche 
der Greifer 7' des Roboters 7 zur genauen Plazierung des Werkstucks 6 am Objekt 1 translatorisch und rotatorisch zu 
verfahren ist. 

Gewerbliche Anwendbarkeit: 

30 

[0043] Der Gegenstand der Erfindung ist beispielsweise fur einzufugende Werkstucke im Karosseriebau, im Turen- 
verbau, im Schiebedachverbau, oder im Scheibenverbau u.s.w. gewerblich anwendbar. Denn das Werkstuck, bei- 
spielsweise die Tur, befindet sich in der Roboterhand und muss in einen Tiirausschnitt, namlich das Objekt der Karosse 
montiert werden. Oder im Schiebedachverbau befindet sich das Schiebedach in der Roboterhand und muss in einen 
35 Dachausschnitt, Objekt, der Karosse montiert werden; oder im Scheibenverbau tragt die Roboterhand eine Fahrzeug- 
scheibe, welche in einen Scheibenausschnitt einer Karosse exakt eingefugt werden muss. 

Bezugszeichenliste: 

40 [0044] 



1 Karosse 

2 Transportschiene 
3, 3', 3" Digitalkameras 

45 4 Annaherungsbereich der Scheibe an die Karosse 

5 Karossenaussparung 

6 Scheibe 

7 Roboter 

7' Roboterarm 

50 8 Fahrschiene 

9 Magazin 

10 Greifscheibe 

11 Saugnapfe 

12, 13, 14 Vorhaltebereiche 

55 s Versatz zwischen Scheibe 6 und Karossenaussparung 5 (nur zweidimensional dargestellt) 
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Patentansp ruche 

1. Verfahren zur Bestimmung der Lage eines Objektes (1) und eines Werkstucks (6) im Raum zur automatischen 
Montage bzw. Einfugen des Werkstucks (6) am Objekt (1) mittels eines Roboters (7) mit Greifer (7') und unter 
Verwendung eines digitalen Bildverarbeitungssystems mit wenigstens einem Sensor (3, 3', 3"), wie optischer Sen- 
sor (3, 3',3"). insbesondere Kamera (3,3', 3"), und einem Rechner, gekennzeichnet durch diefolgenden Merkmale: 

der Roboter (7) mit Greifer (7') und die Sensoren (3,3' ,3"), wie Kameras (3,3' ,3"). des Bildverarbeitungssystems 
werden in ihrer Lage im Weltkoordinatensystem (W) vermessen und diese Koordinaten dem Bildverarbei- 
tungssystem eingegeben und gespeichert, 

die Lage eines ersten Objektes (1 ), Kalibrierobjekt, wird in einer Soll-Montageposition des Objektes (1 ) eben- 
falls im Weltkoordinatensystem (W) vermessen und 

die Koordinaten der Soll-Montageposition ebenfalls im Bildverarbeitungssystem gespeichert, 
ein erstes Werkstuck (6), Kalibrierwerkstuck. wird mittels des Greifers (7 1 ) des Roboters (7) in eine Soll-Vor- 
halteposition gefahren, welche einen kleinen Abstandvon der Soll-Montageposition zum Kalibrierobjekt besitzt 
und ebenfalls im Weltkoordinatensystem (W) vermessen und die Koordinaten der Soll-Vorhalteposition im 
Bildverarbeitungssystem gespeichert, 

die Sensoren (3, 3', 3"), wie Kameras (3, 3', 3") sind dergestalt im Weltkoordinatensystem (W) angeordnet und 
in dieser Position im Weltkoordinatensystem eingemessen, dass sie gleichzeitig sowohl die Soll-Montagepo- 
sition des Kalibrierobjektes (1 ) als auch die Soll-Vorhalteposition des Kalibrierwerkstucks (6) erfassen, so dass 
das Bildverarbeitungssystem die Abweichung zwischen der Soll-Vorhalteposition und der Soll-Montageposi- 
tion berechnen kann, 

anschlieftend wird ein nachfolgendes Objekt (1) "ungenau" in eine Ist-Montage- bzw. Fugeposition des Ob- 
jektes (1) verbracht, welche von der Soll-Montageposition des Kalibrierobjektes abweichen kann, 
der Greifer (7 1 ) des Roboters (7) entnimmt aus einem Lager (9) ein nachfolgendes Werkstuck (6) "ungenau" 
auf und verfahrt es in eine Ist-Vorhalteposition, welche von der Soll-Vorhalteposition des Kalibrierwerkstucks 
abweichen kann, wobei die Kameras (3, 3', 3") das Werkstuck (6) in der Ist-Vorhalteposition und gleichzeitig 
das Objekt (1) in der Ist-Montageposition erfassen, 

nunmehr bestimmt das Bildverarbeitungssystem - in einem odermehreren Bildern der Sensoren (3, 3', 3"), wie 
Kameras (3, 3', 3") - die angefahrene Ist-Position des Werkstucks (6) sowie die angefahrene Ist-Position des 
Objektes (1), und errechnet die notwendige Relativbewegung zwischen Werkstuck (6) und Objekt (1) sechs- 
dimensional und gibt dem Greifer (7') des Roboters (7) diese Koordinaten der Ist-Montageposition vor, urn 
welche der Greifer (7') des Roboters (7) zur genauen Plazierung des Werkstucks (6) am Objekt (1) translato- 
risch und rotatorisch zu verfahren ist. 

2. Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet, 

dass der Roboter (7) das Werkstuck (6) in der Ist-Vorhalteposition zur Durchfuhrung des Vermessungsvorgangs 
kurz an halt. 

3. Verfahren nach Anspruch 1 oder2, 
dadurch gekennzeichnet, 

dass dasselbe mit einem einzigen Sensor (3, 3', 3"), wie Kamera (3, 3', 3"), durchgefuhrt wird, welcher hinsichtlich 
der Kalibrierung und anschlieBenden Verfahrbarkeit mehrfach position ierbar ist. 

4. Verfahren nach Anspruch 1 oder2, 
dadurch gekennzeichnet, 

dass die Sensoren (3, 3', 3"), wie Kameras (3, 3', 3"), am Roboter selbst verteilt angeordnet sind. 

5. Verfahren nach Anspruch 1 oder2, 
dadurch gekennzeichnet, 

dass die Sensoren (3, 3', 3"), wie Kameras (3,3', 3"), am Roboter (7) selbst sowie ortsfest verteilt angeordnet sind. 

6. Verfahren nach einem der vorherigen Anspriiche, 
dadurch gekennzeichnet, 

dass an dem Objekt (1) und/oder an dem Werkstuck (6) innerhalb der Ist-Montage oder Fugeposition bzw. der 
Ist-Vorhalteposition signifikante Merkmale, wie Konturen, Ecken, Aussparungen oder Bohrungen, angetastet wer- 
den. 
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Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

dass die signifikanten Merkmale durch Beleuchtung kenntlich gemacht werden. 

Verfahren nach Anspruch 7, 
dadurch gekennzeichnet, 

dass als Beleuchtung Infrarotlicht oder Laserlicht oder Streifenlicht zur Anwendung gelangt. 

Verfahren nach Anspruch 8, 

dadurch gekennzeichnet, 

dass Laserlichtlinien verwendet werden. 
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